Johnnie Lucille Collier chào đời ở Chireno, Texas.[2][3] Bà sống ở Houston, Texas cho đến lúc 9 tuổi, khi cha mẹ bà li dị. Bà và mẹ sau đó cùng chuyển đến Los Angeles. Vì mẹ bị điếc, việc tìm kiếm bàng việc là khó khăn với bà. Tuy nhiên, vì trông già hơn trước tuổi, bà bắt đầu làm vũ bàng trong các hộp đêm, tự kiếm tiền nuôi bản thân và mẹ. Vào thời gian này, bà đã chọn nghệ danh Ann Miller, cái tên mà bà mang theo trong suốt sự nghiệp của mình.[4]